我们基于功能分析中的分类结构开发了一种自动和符号分化的组成方法，其中衍生物是抽象向量上的线性函数，而不是限于标量，向量，矩阵或张力器，表示为多维阵列。我们表明，可以使用差分计算来实现符号和自动分化，以生成基于原始，恒定，线性和双线性函数的规则以及其顺序和并行组成的线性函数。线性函数以组合域特异性语言表示。最后，我们提供了一个微积分，用于象征性地计算衍生物的伴随，而无需使用矩阵，而矩阵过于效率低，无法在高维空间上使用。衍生物的最终符号表示保留了输入程序的数据并行操作。组合分化和计算形式的伴随的组合在行为上等同于反向模式自动分化。特别是，它为矩阵过于效率而无法表示线性功能的优化提供了机会。
translated by 谷歌翻译
Although prediction models for delirium, a commonly occurring condition during general hospitalization or post-surgery, have not gained huge popularity, their algorithmic bias evaluation is crucial due to the existing association between social determinants of health and delirium risk. In this context, using MIMIC-III and another academic hospital dataset, we present some initial experimental evidence showing how sociodemographic features such as sex and race can impact the model performance across subgroups. With this work, our intent is to initiate a discussion about the intersectionality effects of old age, race and socioeconomic factors on the early-stage detection and prevention of delirium using ML.
translated by 谷歌翻译
Differentially private data generation techniques have become a promising solution to the data privacy challenge -- it enables sharing of data while complying with rigorous privacy guarantees, which is essential for scientific progress in sensitive domains. Unfortunately, restricted by the inherent complexity of modeling high-dimensional distributions, existing private generative models are struggling with the utility of synthetic samples. In contrast to existing works that aim at fitting the complete data distribution, we directly optimize for a small set of samples that are representative of the distribution under the supervision of discriminative information from downstream tasks, which is generally an easier task and more suitable for private training. Our work provides an alternative view for differentially private generation of high-dimensional data and introduces a simple yet effective method that greatly improves the sample utility of state-of-the-art approaches.
translated by 谷歌翻译
我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。
translated by 谷歌翻译
现在，错误和虚假信息已成为我们安全和安全的全球威胁。为了应对在线错误信息的规模，一个可行的解决方案是通过检索和验证相关证据来自动对索赔进行事实检查。尽管在推动自动事实验证方面取得了最新进展，但仍缺乏对可能针对此类系统的攻击向量的全面评估。特别是，自动化事实验证过程可能容易受到其试图打击的确切虚假信息。在这项工作中，我们假设一个对手可以自动使用在线证据擦洗，以通过伪装相关证据或种植误导性的证据来破坏事实检查模型。我们首先提出了探索性分类法，该分类法涵盖了这两个目标和不同的威胁模型维度。在此指导下，我们设计并提出了几种潜在的攻击方法。我们表明，除了产生多样化和索赔一致的证据之外，还可以在证据中巧妙地修改索赔空位段。结果，我们在分类法的许多不同排列中高度降低了事实检查的表现。这些攻击也对索赔后的事后修改也很强大。我们的分析进一步暗示了在面对矛盾的证据时，模型推断的潜在局限性。我们强调，这些攻击可能会对此类模型的可检查和人类使用情况产生有害的影响，我们通过讨论未来防御的挑战和方向来得出结论。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
作为对培训数据隐私的长期威胁，会员推理攻击（MIA）在机器学习模型中无处不在。现有作品证明了培训的区分性与测试损失分布与模型对MIA的脆弱性之间的密切联系。在现有结果的激励下，我们提出了一个基于轻松损失的新型培训框架，并具有更可实现的学习目标，从而导致概括差距狭窄和隐私泄漏减少。 RelaseLoss适用于任何分类模型，具有易于实施和可忽略不计的开销的额外好处。通过对具有不同方式（图像，医疗数据，交易记录）的五个数据集进行广泛的评估，我们的方法始终优于针对MIA和模型效用的韧性，以最先进的防御机制优于最先进的防御机制。我们的防御是第一个可以承受广泛攻击的同时，同时保存（甚至改善）目标模型的效用。源代码可从https://github.com/dingfanchen/relaxloss获得
translated by 谷歌翻译
D分隔标准通过某些条件独立性检测到关节概率分布与定向无环图的兼容性。在这项工作中，我们通过引入因果模型的分类定义，D分隔的分类概念，并证明了D-Exaration Criterion的抽象版本，从而在分类概率理论的背景下研究了这个问题。这种方法有两个主要好处。首先，分类D分隔是基于拓扑连接的非常直观的标准。其次，我们的结果适用于度量理论概率（具有标准的鲍尔空间），因此提供了与局部和全球马尔可夫属性等效性具有因果关系兼容性的简洁证明。
translated by 谷歌翻译
知识图嵌入（KGE）模型是一种有效且流行的方法，可以通过多关系数据来表示和理由。先前的研究表明，KGE模型对高参数设置敏感，并且合适的选择依赖于数据集。在本文中，我们探索了高参数优化（HPO），以获取非常大的知识图，其中评估单个超参数配置的成本过高。先前的研究经常通过使用各种启发式方法来避免这种成本。例如，通过在子图上进行训练或使用更少的时期。我们系统地讨论并评估了这种启发式方法和其他低成本近似技术的质量和成本节省。根据我们的发现，我们引入了Grash，这是一种有效的大规模KGE的多保真HPO算法，结合了图形和时代还原技术并以多个富裕性的储蓄率组合。我们进行了一项实验研究，发现Grash以低成本（总共三个完整的训练运行）在大图上获得最先进的结果。
translated by 谷歌翻译
在科学和工程的几个领域，识别化合物至关重要。基于激光的技术对于自主化合物检测很有希望，因为材料的光学响应编码了足够的电子和振动信息，以供远程化学识别。使用红外吸收光谱的指纹区域对此进行了利用，后者涉及一组密集的吸收峰，这些吸收峰是单个分子独有的，从而促进化学鉴定。但是，尚未实现使用可见光的光学识别。在从紫外线到远红外的纯有机化合物和聚合物的科学文献中，使用数十年的实验折射率数据，我们开发了一个机器学习分类器，该分类器可以基于单波长准确地识别有机物种可见光谱区域的色散测量，远离吸收共振。这里提出的光学分类器可以应用于自主材料识别协议或应用程序。
translated by 谷歌翻译